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Patentanmeldung 



Vorrichtung zur Darstellung von dynamischen komplexen Szenen 



Die Erfindung betrifft eine Vorrichtung, mit welcher dynamische, komplexe 
dreidimensionale Szenen mit hohen Bildwiederholraten unter Verwendung einer 
Echtzeit Ray-Tracing Hardwarearchitektur auf einem zweidimensionalen Display 
dargestellt werden konnen. Dynamische Szenen sind Szenen, in welchen sich 
neben der Kameraposition auch die Geometrie der darzustellenden Objekte von 
Frame zu Frame andern kann. Die Erfindung zeichnet sich vor allem dadurch aus, 
dass sie eine Hierarchiestruktur von Objekten unterstutzt, das heifct die Hauptszene 
kann aus mehreren Objekten bestehen, welche jeweils aus weiteren Objekten 
aufgebaut sind, wobei diese Schachtelung beliebig fortgefuhrt werden kann. Die auf 
den einzelnen Hierarchieebenen befindlichen Objekte konnen sowohl einzeln, ais 
auch im Verbund bewegt werden. Hierdurch ist es moglich, komplexe Szenen mit 
hoher Dynamik zu erstellen und durch Verwendung des gleichen Objektes an 
mehreren Stellen der Szene die Representation der Szene im Speicher klein zu 
halten. 

Zur erfindungsgemaSen Realisierung dieser verschachtelten Objektebenen, wird die 
hardwaremaliige Umsetzung der bekannten Ray-Tracing-Pipeline urn eine 
hardwaremaftig realisierte Transformationseinheit erweitert, welche die Strahlen in 
die Objekte hinein transformiert. Diese Einheit ist zur optimalen Ausnutzung der 
Hardwareressourcen nur einmal vorhanden und wird neben der 
Objektraumtransformation auch zur Berechnung des Schnittpunktes des Strahles 
mit einem Dreieck, der Erstellung von Primarstrahlen und zur Erstellung von 
Sekundarstrahlen verwendet. 
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Eine zweite Ausgestaltungsform der Erfindung gestattet dem Anwender die voile 
Programmierbarkeit des Systems, indem erfindungsgemafc eine neuartige 
Prozessorarchitektur, bestehend aus der Kombination eines Standard 
Prozessorkerns mit einem, oder mehreren speziellen Ray-Tracing-Coprozessoren 
verwendet wird. 

Unter anderem zur Ausgabe der Bilddaten auf einem Display, kann die Erfindung 
durch die Verwendung gemeinsamer Frame-Buffer und Z-Buffer mit einer dem 
Stand der Technik entsprechenden Rasterisierungshardware kombiniert werden. 

Stand der Technik 

Der Stand der Technik bezuglich der Darstellung von dreidimensionalen Szenen ist 
derzeit in zwei, Haupt-Sektoren einzuteilen, das Rasterisierungsverfahren und das 
Ray-Tracing-Verfahren (siehe Computer Graphics / Addison-Vyesley 
ISBN 0201848406). 

Das bekannte, vor allem in Computer-Graphikkarten zum Einsatz kommende 
Rasterisierungsverfahren beruht auf dem Prinzip, jede Geometrie der Szene auf 
einen Frame-Buffer und Z-Buffer zu projizieren. Hierzu werden die Farb- und 
Helligkeitswerte der Pixel im Frame-Buffer und die geometrischen Tiefenwerte im 
Z-Buffer gespeichert, jedoch nur dann, wenn der vofherige geornetrische Wert im 
Z-Buffer grower (weiter yom Betrachter entfernt liegend) als der neue ist. Hierdurch 
wird sichergestellt, dass nahere Objekte fernere uberschreiben und nach Ablauf des 
Algorithmus nur noch die wirklich sichtbaren Objekte im Frame-Buffer abgebildet 
sind. 
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Dieses Verfahren hat jedoch den . entscheidenden Nachteil, dass aufwandige 
Szenen mit Millionen von Objekteh mit heutiger Hardware nicht in Echtzeit 
dargestelit werden konnen, da es in der Regel erforderlich ist, alle Dreiecke 
(Objekte) der Szene zu projizieren. Desweiteren wird ein Frame-Buffer .und Z-Buffer 
benotigt, auf welchem viele Milliarden Schreiboperationen in der Sekunde 
durchgefu.hrt werden mussen, wobei zum Bildaufbau die meisten Pixel mehrfach pro 
Frame uberschrieben werden. Das Gberschreiben des zum Betrachter weiter 
entfernten Pixels durch Pixel naherer Objekte hat zur Folge, dass bereits 
berechnete Daten verworfen werden, wodurch eine optimale Systemleistung nicht 
realisiert werden kann. • 

Schatten sind wohl mit aufwandigen Techniken auf heutiger 
Rasterisierungshardware zu berechnen, jedoch nicht mit hoher Genauigkeit. 
Spiegelungen an gekrummten Fiachen, sowie die Darstellung von Lichtbrechungen 
sind mit dieser Technik nicht zu realisieren. 

Leistungssteigernde Verbesserung schafft ein zweites Verfahren, das Ray-Tracing- 
Verfahren, welches durch seine photorealistischen Bilder, aber auch durch die 
Rechenkomplexitat bekannt ist. Die Grundidee von Ray-Tracing steht in nahem 
Bezug zu physikalischen Lichtverteilungsmodellen (siehe Computer Graphics / 
Addison-Wesley ISBN 0201848406 ). 

In einer realen Umgebung wird Licht von Lichtquellen emittiert und nach 
physikalischen Gesetzen in der Szene verteilt. Mit einer Kamera kann das Bild der 
Umgebung eingefangen werden. Ray-Tracing geht den umgekehrten Weg und 
verfolgt das Licht von der Kamera, welche die Betrachterposition darstellt, zuruck zu 
ihrer Quelle. Hierzu wird fur jedes Pixel des Bildes ein virtueller Strahl in die, das 
Pixel beleuchtende, Richtung geschossen. Dieses SchieBen des Strahles nennt 
man Ray-Casting. Trifft der Strahl ein Objekt so berechnet sich die Farbe des Pixels 
unter anderem aus der Farbe des getroffenen Objektes, der Oberflachennormalen 
und den vom Auftreffpunkt sichtbaren Lichtquellen. Die sichtbaren Lichtquellen sind 
durch die Verfolgung der Sekundarstrahlen, .welche von jeder Lichtquelle zu dem 
Auftreffpunkt geschossen werden, zu ermitteln. Treffen die Sekundarstrahlen ein 
Objekt zwischen Lichtquelle und Auftreffpunkt, so liegt der Punkt im Schatten 
bezuglich der Lichtquelle. 
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Dieses Verfahren ermoglicht neben der beschriebenen Schattenberechnung auch 
noch die Berechnung von Spiegelungen und der Brechungen des Lichtes, indem 
Reflexionsstrahien bzw. gebrochene Sekundarstrahlen berechnet werden. 
Desweiteren konnen Szenen nahezu beliebiger Grofce gehandhabt und dargestellt 
werden. Der Grund hierfur liegt in der Anwendung einer Beschleunigungsstruktur. 
Dies ist ein spezielier Algorithmus mit entsprechender Datenstruktur, welche es 
ermoglicht den virtuellen Strahl schnell durch die Szene zu „schie£en" bzw. zu 
traversieren. Auf dem Weg werden einige Objekte selektiert, welche mogliche 
Trefferkandidaten sind, wodurch der Auftreffpunkt schnell gefunden wird. 
Theoretische Untersuchungen haben ergeben, dass die Komplexitat des 
Ray-Tracing-Verfahrens im Mittel logarithmisch mit der Szenengrofte wachst. Das 
heifit, eine Quadrierung der Zahl der Objekte der Szene bedeutet lediglich den 
doppelten Rechenaufwand. 

Typische Beschleunigungsstrukturen sind zum Beispiel das regeimaliige Grid, 6pr 
k-D Baum und der Octree (siehe Computer Graphics / Addison-Wesley 
ISBN . 020 1 848406). Allen diesen Verfahren liegt die Idee zu Grunde den Raum in 
viele Teilraume aufzuteilen und fur jeden solchen Teilraum die dort vorhandene 
Geometrie zu speichern. Der Traversierungs-Algorithmus verfolgt den Strahl dann 
von Teilraum zu Teilraum und schneidet diesen immer mit genau den Objekten, die 
sich in dem Teilraum befinden. Die drei Verfahren unterscheiden sich nur in der 
Anordnung der Teilraume. Bei dem regelmaBigen Grid ist der Raum in 
wurfelformige Teilraume gleicher GroBe unterteilt Fig. 7. Die beiden anderen 
Verfahren beruhen auf einer rekursiven Unterteilung des Raumes. Beim k-D Baum 
Verfahren wird der Startraum rekursiv an einer beliebigen Stelle achsenparallel 
geteilt Fig. 8. Diese Aufteilung des Raumes wird in einer rekursiven Datenstruktur 
(hier ein binarer Baum) gespeichert. Das dritte Verfahren namens Octree, ist 
ebenfalls rekursiv, nur werden die betrachteten Teilraume immer in 8 gleichgroGe 
rechteckige Teilraume unterteilt Fig. 9. 
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Im Gegensatz zum Rasterisierungsverfahren existiert momentan keine reine 
Hardwarelosung welche den Ray-Tracing-Algorithmus umsetzt, sondern nur 
softwarebasierende Systeme, welche enorm viel Rechenleistung und Rechenzeit 
erfordern. Zur Veranschaulichung des zeitlichen Umfanges der Berechnungen sei 
bemerkt, dass abhangig von der Komplexitat des Bildes und der verwendeten 
Software mit der momentan dem Stand der Technik entsprechenden PC Hardware 
eine Rechenzeit von einigen Sekunden bis zu mehreren Stunden benotigt wird, urn 
ein einzelnes Standbild nach diesem Verfahren zu erstellen. Die Berechnungen von 
Bewegtbildern erfordert entsprechend viel Rechenzeit und/oder die Verfugbarkeit 
von speziellen GroRrechnern. 

Der Lehrstuhl Computergraphik an der Universitat des Saarlandes hat ein 
softwarebasiertes Echtzeit Ray-Tracing System entwickelt, welches auf einem 
Cluster von uber 20 Rechnern zum Einsatz kommt. 

Im US Patent 6,597,359 B1 ist eine Hardwarelosung fur den Ray-Tracing- 
Algorithmus beschrieben, welcher sich jedoch auf statische Szenen beschrankt. 

Das US Patent 5,933,146 beschreibt ebenfalls eine Hardwarelosung fur den 
Ray-Tracing-Algorithmus, auch eingeschrankt auf statische Szenen. 

Das Paper „ SaarCOR - A Hardware Architecture for Ray-Tracing " vom Lehrstuhl 
Computergraphik der Universitat des Saarlandes beschreibt eine 
Hardwarearchitektur fur Ray-Tracing jedoch wiederum limitiert auf statische Szenen. 
Das Paper „A Simple and Practical Method for Interactive Ray-Tracing of Dynamic 
Scenes" vom Lehrstuhl Computergraphik der Universitat des Saarlandes beschreibt 
einen Softwareansatz zur Unterstutzung von dynamischen Szenen in ■ einem 
Ray Tracer.' Das beschriebene Software Verfahren verwendet jedoch nur eine Stufe 
von Objekten, kann also keine Schachtelung in mehreren Stufen durchfuhren. 

Der beschriebene Stand der Technik bietet momentan weder Software- noch 
Hardwarelosungen, mit welchen komplexe dynamische Szenen in Echtzeit 
dargestellt werden konnen. Bei den bekannten Rasterisierungsalgorithmen liegt die 
Leistungsbegrenzung in der Zahl der darzustellenden Objekte. 
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Ray-Tracing Systeme konnen zwar viele Dreiecke darstellen, sind jedoch wegen der 
benotigten Vorberechnungen darin beschrankt, dass die Position nur eingeschrankt 
geandert werden kann. Szenen aus einigen Miliiarden Dreiecken erfordern sehr viel 
Rechenleistung und Speicher und sind nur auf schnellen und komplexen 
Gro&rechnern oder Clusterlosungen zu handhaben. 

Deshalb sind mit der verfugbaren Personal-Computerhardware softwarebasierte 
dynamische Echtzeit Ray-Tracing Systeme nicht realisierbar. Die beschriebene 
Clusterlosung durfte aus Kostengrunden auf Spezialanwendungen beschrankt 
.bleiben. 

Der Erfindung liegt die Aufgabe zugrunde, die Leistungsfahigkeit der bisher 
bekannten hardwarebasierten Rasterisierungsverfahren und der softwarebasierten 
Ray-Tracing-Verfahren derart zu verbessern, dass kompiexe Objekte und 
dynamische Szenen in mehreren Schachtelungstiefen in einem dreidimensionalen 
Raum in Echtzeit dargestellt werden konnen. 

Beschreibung der Erfindung 

Gemaft Patentanspruch 1 und den Unteranspruchen wird diese Aufgabe wie folgt 
gelost : 

Vorrichtung zur Darstellung von dynamischen, komplexen Szenen, dadurch 
gekennzeichnet, dass diese aus einem oder mehreren programmgesteuerten 
Ray-Tracing-Prozessor/en besteht (Fig. 5 / Fig. 11), dessen/deren Funktionsumfang 
mittels hardwareimpiementierter. Traversierungs-Befehle und/oder 
Vektorarithmetikbefehle und/oder Befehle zur Erstellung von Ray-Tracing 
Beschleunigungsstrukturen realisiert wird 

und/oder dass die Vorrichtung aus hardwarebasierten festverdrahteten oder 
verknupften Logikfunktionen besteht (Fig. 2 / Fig. 3 / Fig.4), welche so organisiert 
sind, dass auf den Ray-Tracing-Verfahren basierende Funktionen bereitgestellt 
werden und zu deren Realisierung eine oder mehrere Traversierungs-Einheit/en und 
eine oder mehrere Listen-Einheit/en und' eine oder mehrere 
Schnittpunktberechnungs-Einheit/en 
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und ein oder mehrere Transformations-Einheit/en und/oder eine oder mehrere 
Logikeinheit/en zum Losen von linearen Gleichungssystemen gebildet werden 

und die hardwaremaSige Gestaltung der Ray-Tracing-Prozessoren und/oder der 
Logikfunktionen in einem oder mehreren programmierbaren Logikbaustein/en oder 
in festverdrahteter integrierter oder diskreter Logik erfolgt. 

Diese erfindungsgemaUe, auf derri Ray-Tracing-Verfahren basierende Vorrichtung 
zur photorealistischen Darstellung dreidimensionaler bewegter Szenen, bei welcher 
die softwarema&ig definierten Beschleunigungsstrukturen, Algorithmen und 
Verfahren in entsprechende Hardwarestrukturen umgesetzt sind, ist vorrangig zum 
Echtzeiteinsatz vorgesehen. 

Zur Realisierung beiiebiger ungeordneter Dynamik in einer Szene muss fur jedes 
Bild der Bildfoige die Beschleunigungsstruktur neu berechnet werden. Dies bedeutet 
bei gro(3»en Szenen einen enorm grofcen Rechenaufwand da die gesamte Geometrie 
der Szene „angefasst" werden muss. Hierbei verschwindet der Vorteil der 
iogarithmischen Komplexitat des Algorithmus in der SzenengrdfJe. 
Eine im Paper „A Simple and Practical Method for Interactive Ray Tracing" 
beschriebene Losung zu diesem Problem ist die Unterteilung der Szene in Objekte 
und ausschlieSlich das Bewegen dieser Objekte als Ganzes zu erlauben. Hierbei 
werden zwei Beschleunigungsstrukturen benotigt. 

Eine Top-Level Beschleunigungsstruktur uber den Objekten der Szene und jeweils 
eine Bottom-Level Beschleunigungsstruktur fur jedes der Objekte. Die Objekte 
werden hierbei in Form von Instanzen von Objekten in der Szene positioniert. 
Der Unterschied eines Objektes zu der Instanz desgleichen liegt darin, dass eine 
Instanz eines Objektes aus einem Objekt und einer Transformation besteht. Die 
Transformation ist eine affine Funktion, welche das Objekt an eine beliebige Stelle 
der Szene verschiebt. Affine Transformationen erlauben desweiteren ein Skalieren, 
Rotieren . und Scheren (engl. shearing) von Objekten. Im folgenden wird der 
Einfachkeit halber auch fur Instanzen von Objekten der Begriff Objekt verwendet, 
falls keine Verwechslungsmoglichkeit besteht. 
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Ein Strahl wird zunachst durch die Top-Level Beschleunigungsstruktur traversiert 
(Strahl durch die Szene verfolgen) bis ein mogliches Treffer-Objekt (das vom Strahl 
getroffene Objekt) gefunden wird. Nun transformiert man den Strahl in das lokale 
Koordinatensystem des Objektes und traversiert in der Bottom-Level 
Beschleunigungsstruktur des Objektes weiter bis ein Treffpunkt mit einem Primitiven 
Objekt gefunden ist. Primitive Objekte sind Objekte, welche in sich keine.weitere 
Struktur besitzen. Bei Ray Tracern sind das in der Regel Dreiecke und Kugeln. 

Diese Methode funktioniert in der Praxis sehr gut, jedoch nur so lange die Zahl der . 
Objekte nicht zu grofc wird, da die Top-Level Beschleunigungsstruktur in jedem Bild 
neu aufgebaut werden muss. Das neue Aufbauen dieser Beschleunigungsstruktur 
ist erforderlich, wenn die Objekte in dieser bewegt wurden. 

Die Erfindung stellt nun eine Hardwarelosung dar, welche obige Aufteilung der 
Szene in Objekte rekursiv unterstutzt. Das heilit, sie schrankt sich nicht auf Objekte 
ein, welche aus Primitiven Objekten bestehen, sondern erlaubt ebenfalls, dass sich 
diese Objekte wieder aus Objekten zusammensetzen, welche wiederum aus 
Objekten bestehen konnen usw. Fig.1 zeigt wie aus mehreren Stufen von Objekten 
ein Baum erstellt werden kahn. Zunachst wird als Objekt der Stufe 1 ein Blatt 
modelliert. Dieses Blatt wird nun mehrfach instantiiert und an einen Ast gesetzt, 
wodurch ein weiteres Objekt entsteht, jedoch jetzt ein Objekt der Stufe 2. Diese 
kleinen Aste konnen nun wieder mehrfach instantiiert werden zu einem grolieren 
Ast oder Baum als Objekt der Stufe 3 usw. Es ist anzumerken, dass hier mehrere 
Ebenen von Objekten in Objekten vorkommen und dass die Representation der 
Szene durch das mehrmalige Benutzen gleicher Geometrien klein ist. 

Das in der Erfindung zum Einsatz kommende, durch entsprechenden Algorithmus 
definierte Verfahren fur das Ray-Casting sieht wie folgt aus : 

Der Strahl wird durch die Beschleunigungsstruktur der obersten Stufe traversiert bis 
ein mogliches Treffer-Objekt gefunden ist. Falls das Objekt ein Primitives Objekt ist, 
so wird der Schnittpunkt des Strahles mit dem Objekt berechnet. Ist das Objekt kein 
Primitives Objekt, so wird der Strahl in das lokale Koordinatensystem des Objektes 
transformiert und setzt dort die Traversierung rekursiv fort. 
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Ein wesentlicher Teil des Algorithmus ist die Transformation des Strahies in das 
lokale Koordinatensystem des Objektes, wodurch im Prinzip die Positionierung des 
Objektes durch die affine Transformation ruckgangig gemacht wird. Das heiBt- der 
transform ierte Strahl sieht das Objekt nun nicht mehr transformiert. Dieser 
Transformationsschritt erfordert eine recht aufwandige affine Transformation des 
Strahlstartpunktes und der Strahlrichtung, wobei jedoch die dazu erforderliche 
aufwandige Hardwareeinheit zusatzlich noch fur weitere Aufgaben einsetzbar ist. Es 
stellt sich heraus, dass die Transformationseinheit ebenfalls zur Berechnung des 
Schnittpunktes mit vielen Arten von Primitiven Objekten, zur Berechnung von 
Primarstrahien und zur Berechnung vieler Arten von Sekundarstrahlen verwendet 
werden kann. 

Zur Berechnung der Primarstrahien wird eine ahnliche Kameratransformationsmatrix 
angewandt, wie bei den bekannteh Rasterisierungsverfahren. Zunachst werden 
Pre-Primarstrahlen der Gestalt R=((0,0 I 0),(x,y J 1)) , also Strahlen mit dem 
Statfpunkt. (0,0,0) und der Richtung (x,y,1) definiert, wobei x und y die 
Koordinaten des Pixels zu dem ein Primarstrahl berechnet werden soli darsteilt 
Zu jeder Kameraposition und Ausrichtung gibt es eine affine Transformation, welche 
den Strahl R derart transformiert, dass er genau der Einfallsrichtung des Pixel (x,y) 
der Kamera entspricht. 

Um den Schnittpunkt mit einem Primitiven Objekt zu berechnen, wird der Strahl in 
einen Raum transformiert, indem das Primitive Objekt normiert ist. Im Falle eines 
Dreiecks als Primitives Objekt, wird der Strahl beispielsweise derart in einen Raum 
transformiert, dass das Dreieck die Gestalt A nO rm : =((1,0,0) l (0, 0,0), (0,1,0)), wie in 
Fig. 10 zu sehen, hat. Diese Transformation kann durch eine affine Jransformation 
geschehen. Die anschlieftende Schnittpunktberechnung mit dem Normdreieck ist im 
Gegensatz zum allgemeinen Fall sehr einfach in Hardware zu losen. Wird die 
Transformation derart gewahlt, dass die Dreiecksnormale auf den Vektor (0,0,1) im 
Dreiecksraum transformiert werden, so lasst sich das Skalarprodukt aus Strahl und 
Dreiecksnormale sehr einfach im Dreiecksraum berechnen, da das Skalarprodukt 
aus Strahlrichtung (xt,yt,zt) und der Dreiecksnormalen (0,0,1) gerade 
0*xt+0*yt+1*zt = zt ist. 
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Die Transformation kann desweiteren so gewahlt werden, dass nur 
9 Fliefckommazahlen fur deren Representation benotigt werden, indem die 
Dreiecksnormale auf eine geeignete Normale im Norm-Dreiecksraum abgebildet 
wird. Dies verhindert jedoch die Moglichkeit das Skalarprodukt im Norm- 
Dreiecksraum zu berechnen. 

Es ist klar ersichtlich, dass diese Normobjekttransformation auch fur andere Arten 
von Objekten verwendet werden kann, wie beispielsweise Kugeln, Ebenen, Quader, 
Zylinder und viele weitere geometrische Gebilde, es ist jeweils nur eine andere 
Schnittpunktberechnungseinheit zu erstellen. 

Ein grolier Vorteil hiervon ist die Tatsache, dass jede Art von Primitivem Objekt die 
gleiche Representation im Speicher. besitzt, namlich eine affine Transformation 
welche in den Objektnormraum transform iert. Dies erleichtert die Konzeption des 
Speicherinterface einer Hardwareiosung. Die Transformation in den 
Objektnormraum nennt man die Normraumtransformation. 

Lichtstrahlen sowie Spiegelungen lassen sich durch die Berechnung geeigneter 
Transformationen und geeigneter Strahlen effizient durch die Transformationseinheit 
berechnen. 

Desweiteren ist es moglich, mit der Transformationseinheit Normalen (Vektoren die 
senkrecht auf einer Flache stehen) zu transformieren. Diese 
Normaientransformation ist deswegen notig, da einige Shadingmodelle die Normale 
der Geometrie am Auftreffpunkt benotigen. Diese Normale muss jedoch im 
Weltkoordinatensystem vorliegen, was bei obigem Algorithmus nicht zwangslaufig 
der Fall ist. Vielmehr liegt die Normale erstmals nur im lokalen Koordinatensystem 
des getroffenen Objektes vor. Sie muss von dort wieder zuruck in das 
Weltkoordinatensystem transformiert werden. 

Die Transformationseinheit hat jedoch auch einen Nachteil. Da die affinen 
Transformationen, welche als Matrizen gespeichert werden konnen, sowohl fur 
Dreiecke also auch fur die Objekte der Szene vorberechnet werden mussen, ist es 
nicht ohne weiteres moglich die Position der Dreieckseckpunkte effizient von Frame 
zu Frame zu andern. Dies ist in Vertexshadern auf heutigeh Grafikkarten jedoch 
moglich. Vertexhader sind programmierbare Spezialeinheiten, welche darauf 
optimiert sind, Bewegungen yon Punkten im Raum zu berechnen. 
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Um dies zu ermoglichen, muss man sich von der Vorberechnung der Daten losen. 
Demzufolge ist es danri erforderlich zur Schnittpunktsberechnung mit einem Dreieck 
ein lineares Gleichungssystem mit drei Unbekannten zu losen. Dieses expiizite 
Losen erfordert zwar mehr Flieftkomma-Operationen, ist jedoch in Verbindung mit 
Vertexshadern erforderlich. Demzufolge kann es sinnvoll sein, obige 
Transformationseinheit durch eine Einheit, welche ein lineares Gleichungssystem 
lost, zu ersetzen. Diese Einheit kann unter anderem dazu verwendet werden, um 
mit Dreiecken zu schneiden oder Strahlen in das lokale Koordinatensystem eines 
Objektes zu transformieren. 

Ein Problem von detailreichen Szenen sind unerwunschte Alaising Effekte, die vor 
allem dann entstehen, wenn die Objektdichte in einer Richtung sehr hoch ist. Dann 
kann es passieren, dass ein Strahl beispielsweise ein schwarzes Dreieck trifft und 
bei einer minimalen Bewegung der Kamera plotzlich ein weiftes Dreieck getroffen 
wird. Solche Effekte fuhren zu einem zeitlichen und ortlichen Rauschen im Bild: Der 
Grund liegt darin, dass Ray-Tracing in der Regel unendlich schmale Strahlen 
verwendet und nicht berucksichtigt, dass sich das Licht, welches einen Pixel 
beeinflusst, pyramidenformig ausbreitet und sich der Strahl mit der Entfernung 
aufweitet. So mussten eigentlich alie Objekte, welche sich in dieser 
Strahlenpyramide befinden, zur Berechnung der Pixelfarbe herangezogen werden, 
was in einem Echtzeitsystem nicht moglich ist. Abhilfe schafft hier eine neue 
vereinfachte Form des Cone-Tracings. Anstatt einen beliebig schmalen Strahl zu 
betrachten, wird zusatzlich der Offnungswinkel des Strahles bewertet. So kann je 
nach Entfernung zur Kamera die entsprechende Strahlbreite berechnet werden. 
Trifft man bei der Traversierung auf einen Teilraum der zu einem Groliteil von dem 
Strahl uberdeckt wird, so macht es Unter Umstanden keinen Sinn mehr weiter zu 
traversieren. Optimal ist. an dieser Stelle eine vereinfachte Geometrie des 
Volumeninneren zur Berechnung zu verwenden und zu ignorieren, dass in dem 
Volumina vielleicht eine Million Dreiecke sind. Diese Dreiecke bilden unter 
Umstanden nur die Wand eines Gebirges, welche wegen der GrofJe des Strahles 
auch durch eine farbige Ebene approximiert werden kann. 
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Falls die Dreiecke jedoch ein lochriges Gebilde wie zum Beispiel den Eifelturm 
modeliieren, ist als Approximation eher die Farbe der konstruktiven Gitterelemente 
und ein Transparenzwert zu wahlen. 

Die Erfindung unterstutzt soiche vereinfachten Geometriereprasentationen in der 
Beschleunigungsstruktur. Fig. 6 zeigt das Konzept am Beispiel eines Octrees. Zu 
dem fett umrandeten Volumina, zU welchem ein Knoten in der 
Beschleunigungsstruktur gehort, ist die vereinfachte Geometrie abgebildet. Der 
Strahl uberlappt fast mit dem gesamten Volumen des Knotens, so dass die 
Vereinfachte Geometrie zur Schnittpunktsberechnung verwendet wird. 

Eine alternative Methode besteht darin, die Objekte der.Szene mit unterschiedlichen 
Detaillevel abzuspeichern. Das hei&t, die Objekte mit unterschiedlicher Auflosung 
oder Anzahl Dreiecke zu modeliieren und abhangig von der Entfernung der Objekte 
zur Kamera, detailreiche oder vereinfachte Objekte zu verwenden. 

Ein Nachteil der oben besqhriebenen festverdrahteten, hardwarebasierten 
Ray-Tracing-Pipeline ist die Tatsache, dass es aufwandig ist, sie programmierbar zu 
gestalten. im Vergleich zu einem Software Ray-Tracing Ansatz, wirkt die 
Hardwarebasierte Pipeline sehr starr und speziell. Abhilfe schafft die Entwicklung 
einer speziell auf den Ray-Tracing-Algorithmus angepa&ten CPU. Diese spezielle 
Ray-Tracing Processing Unit abgekurzt RTPU besteht aus einer Standard CPU z.B. 
RISC Prozessor, dessen Befehlssatz urn spezielle Befehle erweitert wird. 
Insbesondere ist ein Traversierungs-Befehl wichtig, welcher den Strahl du'rch.eine 
Beschleunigungsstruktur traversiert. Einige Stellen des Algorithmus erfordern 
desweitern aufwandige arithmetische Operationen, welche vorwiegend im 
dreidimensionalen Raum geschehen. Es ist demnach sinnvoll die CPU mit einer 
Vektorarithmetikeinheit auszustatten,' ahnlich den heute gelaufigen SSE2 
Befe.hlssatzen. Eine weitere Optimierung der CPU kann dadurch erreicht werden, 
indem die Parallelisierbarkeit des Algorithmus ausgenutzt wird. Es ist demnach 
moglich, sehr effektiv mehrere Threads (Programmablaufe) auf einer CPU laufen zu 
lassen, was die Auslastung und Effektivitat der CPU dramatisch erhoht, vor allem im 
Bezug auf die Speicherwartezeiten. 
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Macht ein Thread eine Speicheranfrage, so kann ein anderer wahrend der Anfrage 
ausgefuhrt werden. Ein beispielhafter Aufbau solch einer CPU ist in Fig. 5 zu sehen. 
Da bei dynamischen Szenen fur jedes Frame die Neuberechnungen der 
umfangreichen Beschleunigungsstrukturen durchgefuhrt wird, ist es erforderlich, den 
Befehlssatz der CPU urn spezielle Befehle zur Erstellung der 
beschleunigungsstrukturen zu erweitern. 

Die Einheiten der Ray-Tracing Architektur benotigeh eine sehr hohe 
Speicherbandbreite, das heiSt es mussen sehr viele Daten pro Zeiteinheit 
ubertragen werden. Normalerweise ist dies nur zu realisieren, indem sehr viele 
Speicherchips parallel geschaltet werden. Die erforderliche Speicherbandbreite 
kann jedoch auch durch eine geeignete Verschaltung von mehreren Cachestufen 
(n-Level Caches) sichergestellt werden. Essentiell ist hier eine Eigenschaft des Ray- 
Tracing-Algorithmus die man Koharenz nennt. Koharenz bezeichnet die Tatsache, 
dass Strahlen die ahnliche Bereiche des 3D Raumes durchlaufen auch auf nahezu 
die gleichen Daten in der Beschleunigungsstruktur, dementsprechend also auch auf 
die gleichen Objekte zugreifen. Wird diese Eigenschaft ausgenutzt, konnen hohe 
Cache Hitraten erzielt werden. Das heiSt, die benotigten Daten werden mit grolier 
Wahrscheinlichkeit im Cache wiedergefunden und brauchen nicht zeitaufwandig aus 
dem Hauptspeicher geladen zu werden. Die Caches an sich sind wie in Fig. 4 
gezeigt, in einem binaren Baum angeordnet, urn mehrere Ray-Tracing Einheiten zu 
versorgen. 

Die erfindungsgemafie Vorrichtung kann in Verbindung mit einem 3D Display 
naturlich auch zur photorealistischen dreidimensionalen Echtzeitdarstellung 
komplexer bewegter Szenen verwandt werden. Abhangig von der Technologie des 
eingesetzten Displays sind hierbei drei Ausfuhrungsformen der Bildausgabe zu 
unterscheiden. Erstens eine Ausfuhrungsform, bei welcher abwechselnd zwei den 
Stereoeindruck beinhaltende Bilder horizontal versetzt im Zeitmultiplexverfahren auf 
einem Display dargestellt werden. 
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Zweitens eine Ausfuhrungsform bei welcher zwei den Stereoeindruek 
reprasentierende, horizontal versetzte Bilder, welche in abwechselnden 
senkrechten, die Bildinformation der beiden Bilder beinhaltende Streifen auf einem 
Display dargestellt werden. Drittens eine Ausfuhrungsform, bei welcher die beiden 
horizontal versetzten Bilder auf zwei getrennten Displays gieichzeitig oder im 
Zeitmultiplexverfahren dargestellt werden. 

Die beiden horizontal versetzten Bilder, welche jeweils dem rechten oder linken 
Auge zuzuordnen sind, werden durch entsprechend raumliche Displayanordnungen 
oder durch den Einsatz von Bildtrennyorrichtungen (z.B. Shutterbrillen, 
streifenformige Fresnel-Prismen/Linsen, Polarisationsfiiter) jeweiis nur einem Auge 
sichtbar. Die einzusetzenden 3D Displays und deren Erfordernisse der 
Videosignalansteuerung entsprechen dem Stand der Technik und werden nicht 
naher beschrieben. Weitere Ausfuhrungen zum Stand der Technik von 3D Displays 
sind folgenden, beispielhaft genannten Schriften zu entnehmen : 

Computer Graphics / Addison-Wesley ISBN 0201848406, DE 4331715, 
DE 4417664, DE 19753040, DE 19827590, DE 19737449 

Der Einsatz computeranimierter photorealistischer Echtzeitdarstellung 
dreidimensionaler bewegter Szenen und Bilder erstreckt sich uber die Darstellung 
dreidimensionaler CAD Daten, die Darstellung medizinischer und technisch- 
analytischer Daten, uber die Filmanimation sowie dem Einsatz in Flug- und 
Fahrsimulatoren, bis zu den sogenannten Home Anwendungen in Computerspielen 
mit aufwandiger Echtzeitgraphik. 

Die funktionelle Realisierung und die Hardwareimplementierung der Ray-Tracing- 
Algorithmen und Verfahren erfolgt in komplexen und schnellen Logiktechnologien, 
wobei deren Umsetzung sowohl als festverdrahtete 1 Digitallogik in Form von 
diskreter Digitallogik, oder Kunden- oder Anwendungsspezifisch gefertigten IC 
beispielsweise ASIC, oder von komplexen programmierbaren Logikbausteinen / 
Logikschaltkreisen, beispielsweise CPLD oder FPGA Technologien mit oder ohne 
CPU Kern erfolgt. 
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Beschreibung einer erfindungsgemaRen Ausbildungsform in 
hardwaremafiig realisierter Logik 



Die nachfolgend beschriebene beispielhafte Ausbildungsform der Erfindung 
beschreibt die Ray-Tracing Einheit einer Computer- Graphikkarte, bei welcher die 
Hardwareimplementierung der Ray-Tracing-Algorithmen und Verfahren 
beispielsweise in einem freiprogrammierbaren Logikbaustein FPGA, in ASIC 
Technoiogie, oder in einem festverdrahteten Spezial Chip erfolgen kann. 

Soweit Verfahren und Funktionsablaufe beschrieben werden, so sind diese rein 
hardwaremaliig zu realisieren. Was bedeutet, dass entsprechende Logikeinheiten 
und hardwaremaliig realisierte Arithmetikeinheiten zu gestalten sind. 

Die Standardfunktion der Ansteuerelektronik zur Ansteuerung des Datendisplays 
(Kathodenstrahlrohre, TFT-, LCD- oder Plasmamonitor) und deren Timing 
entsprechen dem Stand der Technik, werden als bekannt vorausgesetzt und sind 
nicht Gegenstand der Beschreibung. Eine Schnittstelle zwischen dem Bildspeicher 
dieser Standardfunktion und der erfindungsgemalSen Umsetzung der Ray-Tracing- 
Algorithmen und Verfahren wird beschrieben. 

Die Beschreibung gliedert sich in zwei Teile. Zunachst wird die Ray-Casting-Pipeline 
abgekurzt RCP beschrieben. Dabei handelt es sich urn den Kern des Designs, 
welcher Strahlen durch die Szene traversiert und den Auftreffpunkt zuruckliefert. 

Im zweiten Teil wird fur die Ray-Casting-Pipeline eine optimierte Ray-Tracing 
Architektur beschrieben, in welcher mehrere dieser Ray-Casting-Pipelines 
zusammenarbeiten. 

Fig. 2 zeigt die Ray-Casting-Pipeline Einheit (RCP), welche aus mehreren 
Untereinheiten besteht. Die Traversierungs-Einheit traversiert den Strahl durch eine 
geeignete Beschleunigungsstruktur, vorzugsweise einen k-D Baum. Der Strahl wird 
so lange traversiert, bis er in einen Bereich der Szene kommt, in welchem sich 
mogliche Treffer-Objekte befinden. Die Objekte dieses Bereiches, sind in einer Liste 
gespeichert, welche von der Listen-Einheit bearbeitet wird. 
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Diese Objekte mussenhun auf einen moglichen Schnittpunkt hin untersucht werden 
und falls es keinen gultigen Schnittpunkt gibt, rriit der Traversierung fortgesetzt 
werden. Die Listen-Einheit sendet die moglichen Treffer-Objekte, eins nach dem 
anderen, zur Matrix-Lade-Einheit, welche die zu > dem Objekt gehorige affine 
Transformation ladt. Diese affine Transformation kann durch eine 4x3 Matrix 
dargestelit werden. Es kann sich dabei urn Objektraumtransformationsmatrizen oder 
urn Matrizen welche in den Normraum eines Primitives Objektes transformieren, 
handeln. Nachdem die Matrix-Lade-Einheit die Matrix in der Transformationseinheit 
gespeichert hat, werden die Strahlen von der Strahl-Einheit durch die 
Transformationseinheit geschickt. 

Nach der Transformation sind nun zwei Szenarien moglich. Zum einen kann es sich 
urn ein Objekt handeln, welches noch weitere Objekte beinhaltet. 1st dies der Fall, 
so wandern die Strahlen wieder zuruck in die Traversierungs-Einheit und der 
transformierte Strahl wird in dem Objekt weiter traversiert. Handelt es sich jedoch 
urn ein Primitives Objekt, so geht der Strahl direkt weiter in die 
Schnittpunktberechnungs-Einheit, welche den Stahl mit dem Normobjekt schneidet. 
Die Schnittpunktberechnungs-Einheit kann wie * zuvor beschrieben mehrere 
Normobjekte (Dreiecke, Kugeln usw.) unterstiitzen. 

Die berechneten Schpittpunkt-Daten werden in der Schnittpunkt-Einheit gesammelt. 
Die Schnittpunkt-Einheit liefert einen Ruckkanal zur Traversierungs-Einheit, so dass 
diese erkennen kann, ob schon gultige Schnittpunkt-Daten vorhanden sind. 

Die Traversierungs-Einheit, Listen-Einheit und Matrix-Lade-Einheit sind die einzigen 
Einheiten der Ray-Casting-Pipeline, welche auf externen Speicher zugreifen. Die 
Traversierungs-Einheit greift auf die Beschleunigungsstruktur zu,' die Listen-Einheit 
auf Listen von Objektadressen und die Matrix-Lade-Einheit auf affine 
Transformationen in Form von Matrizen. Alle drei Einheiten sind uber einen eigenen 
Cache mit dem Hauptspeicher verbunden, urn die notige Speicherbandbreite zu 
gewahrleisten. 
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Eine vereinfachte Version der Ray-Casting-Pipeline ist in Fig. 12 dargestellt, wobei 
nur die wichtigsten Einheiten abgebildet sind : die Traversierungs-Einheit welche die 
Strahlen durch die Beschleunigungsstruktur traversiert, die Listen-Einheit, welche 
die Listen bearbeitet, die Transformations-Einheit, welche die geladene 
Transformation auf die Strahlen anwendet, und die Schnittpunktberechnungs- 
Einheit, welche den transformierten Strahl mit dem Norm-Objekt schneidet. 

Die Ray-Casting-Pipeline ist wie in Fig. 3 gezeigt in eine geeignete Ray-Tracing 
Architektur eingebettet. Die Abbildung zeigt 4 Ray-Casting : Pipeline Einheiten mit 
ihren jeweils 3 Caches. Es sind hier jeweiis 2 Einheiten mit einer Shading Einheit 
verbunden. Diese Shading Einheiten verwenden die Ray-Casting-Pipeline Einheiten 
urn die Farben der Pixel des Bildes zu berechnen. Hierzu schieBt die Shading 
Einheit Primarstrahlen, verarbeitet die Auftreffinformationen, welche die 
Ray-Casting-Pipeline zuruckliefert und schie&t Sekundarstrahlen beispielsweise zu 
Lichtquellen. 

Die Shading Einheiten besitzen einen Kanal zur Transformationseinheit der 
Ray-Casting-Pipeline. Dieser wird verwendet urn Kameramatrizen und Matrizen fur 
Sekundarstrahlen zu laden und dadurch den Rechenaufwand fur die Shading 
Einheit zu minimieren. Anzumerken ist, dass die Shading Einheiten jeweils einen 
getrennten Textur Cache und Shading Cache besitzen. Der Shading Cache enthalt 
Shadinginformationen zu der Geometrie der Szene wie zum Beispiel Farben und 
Materialdaten. Der Texturcache ist mit dem Texturspeicher verbunden und 
ermoglicht den Shading Einheiten Zugriff auf Texturen. Jede Shading Einheit besitzt 
ihren eigenen lokalen Frame-Buffer, auf welchem sie * die Farben und 
Helligkeitswerte der gerade bearbeiteten / berechneten Pixel ablegt.. Desweitern ist 
ein Z-Buffer vorhanden, welcher fur die nachfolgend beschriebene Anbindung an die 
Standardrasterisierungshardware benotigt wird. 
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1st die Farbe eines Pixels von der Shading Einheit vollstandig berechnet, so wird 
diese Farbe Qber die Tone-Mapping-Einheit in den giobalen Frame-Buffer 
geschrieben. Die Tone-Mapping-Einheit wendet eine einfache Funktion auf die 
Farbe an, urn diese in dem 24 Bit RGB Raum abzubilden. Auch die geometrischen 
Tiefenwerte (Z-Werte), welche im lokalen Z-Buffer gespeichert werden, werden nun 
in den giobalen Z-Buffer ubertragen. 



Die Farbe bzw. der neue Z-Wert werden jedoch nur dann in den Frame-Buffer bzw. 
Z-Buffer gesphrieben, wenn der zuvor im Z-Buffer vorhandene Z-Wert grofter ist. 
Hierdurch ist sichergestellt, dass nur dann Pixel geschrieben werden, wenn sie 
geometrisch vor bereits von der Rasterisierungshardware oder anderen Ray-Tracing 
Passes berechneten Werten liegen. So ist es moglich die Ray-Tracing Hardware mit 
einer Standard Rasterisierungshardware zu kombinieren, welche auf dem gleichen 
Frame-Buffer bzw. Z-Buffer arbeitet, weicher hierbei auch die Schnittstelle zu dieser 
Standard Rasterisierungshardware darsteilt. 

Zur weiteren Erhohung der Systemleistung kpnnen optional noch weitere 
Shading-Einheiten mit den zugehorigen Ray-Casting-Pipelines und Caches 
parallelgeschaltet werden. Der leistungssteigernde Effekt liegt hierbei in der 
Verbreiterung der Daten- und Verarbeitungsstruktur. 

Die Signalaufbereitung und die Timinggenerierung fur das Display bzw. den Monitor 
erfolgt in bekannter Art durch diese Rasterisierungshardware. Hierbei werden die 
Grundfunktionen der Standard Rasterisierungshardware mit den 
hardwareimplementierten Ray-Tracing-Algorithmen und Funktionen zu einer sehr 
leistungsfahigen Echtzeit Hardwarearchitektur verbunden. 
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Beschreibung der zweiten Ausbildungsform der Erfindung 
als programmierbarer Ray-Tracing-Prozessor 

Die zweite beispielhafte Ausbildungsform der Erfindung basiert auf der Gestaltung 
und Anwendung von frei programmierbaren Ray-Tracing CPU's abgekiirzt RTPU, 
welche programmgesteuert die erfindungsgemaft beschriebenen, speziellen 
Ray-Tracing Funktionen und Algorithmen ausfuhren. Hierbei werden durch 
entsprechende Logik- und Funktionsparallelitat jeweils nur wenige, vorzugsweise 
ein oder zwei CPU Taktzyklen zur Abarbeitung der Einzelfunktion benotigt. 
Soweit interne Algorithmen, Verfahren und Funktionsablaufe der Ray-Tracing CPU 
abgekurzt RTPU beschrieben werden, sind diese mittels einer Hardware- 
beschreibungssprache, zum Beispiel HDL, VHDL, oder JHDL zu erstellen und auf 
die entsprechende Hardware zu ubertragen. Die Hardwareimplementierung der 
RTPU mit den implementierten Algorithmen und Verfahren kann beispielsweise in 
einem freiprogrammierbaren Logikbaustein FPGA, in ASIC Technologie, in der 
Kombination von digitalen Signalprozessoren mit FPGA / ASIC oder in einem 
festverdrahteten Spezial Chip erfolgen. 

Dies bedeutet, dass entsprechende Logikeinheiten und hardwaremaliig realisierte 
Arithmetikeinheiten zu gestalten sind, deren Einzelfunktionen programmgesteuert 
abgerufen werden konnen. Abhangig von der Komplexitat der eingesetzten 
Hardwaretechnologie kann pro Chip eine oder mehrere RTPUs, mit oder ohne 
weiteren Logikfunktionen realisiert werden: 

Hierbei werden wie in Fig. 11 zu sehen ist, mehrere der in Fig. 5 dargestellten RTPU 
Einheiten parallel geschaltet. Das Speicherinterface wird von einer 
Cache-Hierarchie gebildet, welche die notige Speicherbandbreite bereitstellt. Dieses 
Vorgehen ist wiederum nur wegen der starken Koharenz benachbarter Strahlen 
effizient moglich. Bei dem RTPU Konzept bearbeitet jede RTPU entweder genau ein 
Pixel des Bildes oder ein Paket von mehreren Pixeln. 
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Die Einzelpixelbearbeitung ist wegen ihrer Einfachheit vorzuziehen, benotigt jedoch 
zur Einzelstrahlberechnung ein Speicherinterface mit ausreichend hoher Bandbreite 
was bedeutet, dass eine hohe Datenrate pro Zeiteinheit realisiert werden muss. Das 
Bearbeiten eines Pixels geschieht durch ein Softwareprogramm, welches auf der 
Ray-Tracing CPU / RTPU lauft. 

Fig. 5 zeigt einen beispieihaften Aufbau einer RTPU. Zu sehen ist ein standard 
Prozessorkern (RISC Kern) welchem zwei Spezialcoprozessoren parallel geschaltet 
sind. Die Coprozessoren besitzen jeweiis ihre eigenen Register. Es ist jedoch auch 
moglich durch Spezialbefehle diese Registerinhalte von einem Coprozessor in einen 
anderen zu uberfuhren. Der Traversierungs-Kern ist ein spezieller Coprozessor, 
welcher Strahlen effizient durch eine Beschleunigungsstruktur traversieren kann. 
Hierzu benotigt er ein spezielles Speicherinterface zu den Knoten der 
Beschleunigungsstruktur (Knoten- Cache). Der Vektor Arithmetik Kern ist ein 
Spezialcoprozessor, welcher effizient Operationen im 3D Raum durchfuhren kann. 
Die von jeder Ray-Tracing Software 1 benotigten Vektoradditionen, 
Skalarmultiplikationen, Kreuzprodukte und Vektorprodukte konnen mittels dieser 
Einheit schnell, berechnet werden. Die Vektorarithmetikeinheit benotigt Zugriff auf 
einen Spezialcache, welcher £s ermoglicht ganze Vektoren in einem Takt zu laden. 

Die in der RTPU hardwarema&ig implementierten Einzelbefehle oder 
Logikfunktionen beinhalten die gleichen Algorithmen, welche schon bei der 
festverdrahteten ersten Ausbildungsform der Erfindung beschrieben sind. 
. Erganzend hierzu, kann dieser Befehlssatz jedoch urn weitere festverdrahtete 
Befehle und Funktionen erganzt werden, welche wiederum programmgesteuert zu 
aktivieren sind. Durch spezielle Traversierungs-Operationen, durch 
Vektorarithmetik, sowie durch die parallele Abarbeitung mehrer Threads auf einer 
RTPU wird die fur Echtzeitanwendung erforderliche Rechenleistung bereitgesteilt 
und gleichzeitig werden die Auswirkungen der Speicherlatenzen (Wartezeiten auf 
Speicheranfragen) auf die Systemgeschwindigkeit minimiert oder sogar unrelevant. 
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Dadurch, dass die RTPU programmgesteuert dazu verwandt werden kann, rekursiv 
Sekundarstrahlen durch die Szene zu schiefcen, wird das Programmiermodell, im 
Vergleich zur festverdrahteten Hardware, erheblich vereinfacht. 
1st die Farbe des Pixels volistandig berechnet, wird diese in den Frame-Buffer und 
die Distanz in den Z-Buffer geschrieben. Hierdurch ist eine . Anbindung an die 
Standard Rasterisierungshardware mogiich. 
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Beschreibung der Zeichnungen 



Fig. 1 zeigt wie aus mehreren Stufen von Objekten einen Baum erstellt 

werden kann. Zunachst wird als Objekt der Stufe 1 ein Blatt modelliert. Dieses Blatt 
wird nun mehrfach instantiiert und an einen Ast gesetzt, wodurch ein weiteres 
Objekt entsteht, jedoch jetzt ein Objekt der Stufe 2. Diese kleinen Aste konnen nun 
wieder mehrfach instantiiert werden zu einem Baum als Objekt der Stufe 3. 

Fig. 2 zeigt die Ray-Casting-Pipeline (RCP) mitden wichtigsten Datenpfaden, 

sowie der Schnittstelle zu den Caches. 

Fig. 3 zeigt das Top-Level Diagramm einer beispielhaften Implementierung 

der Erfindung. Die 4 Ray-Casting-Pipelfnes (RCP) sind uber eine Cache-Hierarchie 
mit den getrennten Speichern fur Knoten* Listen und Matrizen verbunden. In diesem 
Beispieldesign sind je zwei RCP's mit einer Shadingeinheit verbunden, welche 
Zugriff auf einen lokalen Frame-Buffer und Z-Buffer hat. Ober diese werden 
Farbwerte mittels einer Tone-Mapping-Einheit in einen globalen Frame-Buffer 
geschrieben und Tiefenwerte direkt in einen globalen Z-Buffer geschickt. An diesen 
Z-Buffer und Frame-Buffer kann eine dem Stand der Technik entsprechende 
Rasterisierungshardware (Rasterisierungs Pipeline) angeschlossen werden. 

Fig. 4 zeigt die Cache-lnfrastruktur, welche die notige interne 

Speicherbandbreite im Chip bereitstellt. In der Abbildung handelt es sich urn einen 
binaren n-stufigen Cache, es sind jedoch auch andere hierarchische Strukturen 
denkbar. 

Fig. 5 zeigt die beispielhafte Ausfuhrungsform einer Ray-Tracing CPU. 
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Fig. 6. Beispiel der vereinfachten Geometrie in den Octreeknoten. 



Fig. 7. Beispiel der regelma&igen Grid Beschleunigungsstruktur an einer 
einfachen Szene. Der Raum ist der Einfachkeit halber nur in 2D gezeichnet. 

Fig. 8. Beispiel der k-D Baum Beschleunigungsstruktur an einer einfachen 
Szene. Der Raum ist der Einfachkeit halber nur in 2D gezeichnet. 

Fig. 9. Beispiel der Octree Beschleunigungsstruktur an einer einfachen 
Szene. Der Raum ist der Einfachkeit halber hur in 2D gezeichnet. 

> Fig. 10. Zeigt die Dreieckstransformation in den Norm-Dreiecks Raum. 

Fig. ,1 1 . Zeigt eine beispielhafte Ausbildungsform der Erfindung basierend auf 
speziellen Ray-Tracing CPU's (RTPU's). 

Fig. 12. Vereinfachte Version der in Figure 2 gezeigten Ray-Casting-Pipeline. 
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Patentanspriiche 



1. Vorrichtung zur Darstellung von dynamischen, komplexen Szenen, dadurch 
gekennzeichnet, dass diese aus einem oder mehreren programmgesteuerten 
Ray-Tracing-Prozessor/en besteht (Fig. 5 / Fig. 11), dessen/deren Funktionsumfang 
mittels hardwareimplementierter Traversierungs-Befehle und/oder 
Vektorarithmetikbefehle und/oder Befehle zur Erstellung von Ray-Tracing 
Beschleunigungsstrukturen realisiert wird 

i 

und/oder dass die Vorrichtung aus hardwarebasierten festverdrahteten oder 
verknupften Logikfunktionen besteht (Fig,2 / Fig. 3 / Fig.4), welche so organisiert 
sind, dass auf den Ray-Tracing-Verfahren basierende Funktionen bereitgestellt x 
werden und zu deren Realisierung eine oder mehrere Traversierungs-Einheit/en und 
eine' oder mehrere Listen-Einheit/en und eine oder mehrere 
Schnittpunktberechnungs-Einheit/en 

und ein oder mehrere Transformations-Einheit/en und/oder eine oder mehrere 
Logikeinheit/en zum Losen von linearen Gleichungssystemen gebildet werden 

und die hardwaremaliige Gestaltung der Ray-Tracing-Prozessoren und/oder der 
Logikfunktionen in einem oder mehreren programmierbaren Logikbausteip/en oder 
in festverdrahteter integrierter oder diskreter Logik erfolgt. 

2. Vorrichtung gemalJ Anspruch 1 dadurch gekennzeichnet, dass die 
Transformations-Einheit/en funktionell zur Primarstrahlgenerierung und/oder 
Objektraum-transformation und/oder Normraumtransformation und/oder Reflektions- 
strahlberechnung und/oder Lichtstrahlberechnung und/oder Normaientransformation 
verwendet wird. 

3. Vorrichtung gemaU Anspruch 1 dadurch . gekennzeichnet, dass die 
Logikeinheit/en zum x Losen linearer Gleichungssysteme fur die 
Objektraumtransformation und/oder Normraumtransformation und/oder 
Normaientransformation verwendet wird. 
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4. Vorrichtung gemalJ Anspruch 1 dadurch gekennzeichnet, dass die Funktion 
der Traversierungs-Einheit/en und die hardwarema&ige Umsetzung der 
Traversierungs-Befehle darauf beruht, dass ein Strahl durch eine 
Beschleunigungsstruktur, welche auf dem k-D Baum-Verfahren oder dem 
Octreeverfahren oder dem regelmaliigen Grid-Verfahren basiert, traversiert wird und 
abhangig von der geometrischen Entfernung des darzustellenden Objektes zur 
Kamera oder Betrachter, in jedem k-D Baum-Knoten oder Octreeknoten oder 
Gitterknoten vereinfachte Geometriedaten verwendet werden, sobaid der 
betrachtete Strahl einen Grofcteil des Volumens des aktuellen k-D Baumknoten oder 
Octreeknoten oder Gitterknoten uberdeckt. 

5. Vorrichtung gemafc den Anspruchen 1 bis 4 dadurch gekennzeichnet, dass die 
einzelnen Objekte optional mit unterschiedlichem Detaillevel vorliegen und je nach 
Distanz zur Kamera oder Betrachter mit unterschiedlichen Detaillevels verwendet 
werden. 

6. Vorrichtung gemafi den Anspruchen 1 bis 4 dadurch gekennzeichnet, dass die 
Schachtelungstiefe der dargestellten Objekte, beiiebig viele Stufen von Objekten in 
Objekten umfassen kann. 

7. Vorrichtung gemaft den Anspruchen 1 bis 4 dadurch gekennzeichnet, dass 
jedes Objekt aus jeder Hierarchieebene der Szene von Frame zu Frame verandert, 
oder dessen geometrische Position und Orientierung verandert werden kann. 

8. Vorrichtung gemaB den Anspruchen 1 bis 7 dadurch gekennzeichnet, dass ein 
oder mehrere Ray-Tracing Funktionseinheiten in einem oder mehreren integrierten 
Chip/s hardwaremaftig realisiert werden und diese parallel arbeiten. 

9. Vorrichtung gemaft Anspruch 8 dadurch gekennzeichnet, dass die einzelnen 
Funktionseinheiten uber eine n-level Cache-Struktur mit dem Hauptspeicher 
verbunden sind. 
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10. Vorrichtung gemaB den Anspruchen 1 bis 9 dadurch gekennzeichnet, dass die 
beschriebene Hardware uber einen globalen Z-Buffer und Frame-Buffer an eine 
Standard Rasterisierungshardware angeschlossen ist. 

11. Vorrichtung gemaft den Anspruchen 1 bis 10 dadurch gekennzeichnet dass 
sich die Logikfunktionen der Rasterisierungshardware auf dem gleichen Chip wie 
die Logikfunktionen der Ray-Tracing Hardware oder auf einem separaten Chip 
befinden. 

12. Vorrichtung gemaft den Anspruchen 1 bis 11 dadurch gekennzeichnet, dass 
die Funktionen der Bilddatengenerierung um die Moglichkeit der Darstellung von 
dreidimensional wahrnehmbaren dynamischen, komplexen Szenen auf einem 
zweidimensionalen Display erweitert warden, wobei die Darstellung in zwei 
hprizontal versetzten Teilbildern erfolgt und die Darstellungsform der beiden 
Teilbilder dem Stand der Technik entspricht. 

13. Vorrichtung gemafi den Anspruchen 1 bis 11 dadurch gekennzeichnet, dass 
die Funktionen der Bilddatengenerierung um die Moglichkeit der Darstellung von 
dreidimensjpnal wahrnehmbaren dynamischen, komplexen Szenen auf zwei 
funktionell zusammenarbeitenden zweidimensionalen Displays erweitert werden, 
wobei auf jedem Display jeweils ein horizontal versetztes Teilbild dargestellt wird 
und die Darstellungsform der beiden Teilbilder dem Stand der Technik entspricht. 

14. Vorrichtung gemaft den Ansprbchen 1 bis 13 dadurch gekennzeichnet, dass 
die Bilddatengenerierung und die Darstellung der dynamischen, komplexen Szenen 
vorzugsweise in Echtzeit erfolgt. 
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Vorrichtung zur Darstellung von dynamischen komplexen Szenen 

Zusammenfassung 



Die Erfindung betrifft eine Vorrichtung, mit welcher dynamische, komplexe 
dreidimensionale Szenen mit hohen Bildwiederholraten unter Verwendung einer 
Echtzeit Ray-Tracing Hardwarearchitektur auf einem zweidimensionalen Display 
dargestellt werden konnen. Die Erfindung zeichnet sich vor allem dadurch aus, dass 
sie eine Hierarchiestruktur von bew<=>glichen und veranderbaren Objekten 
unterstutzt, das heilit die Hauptszene kann aus mehreren Objekten bestehen, 
welche jeweils aus weiteren Objekten aufgebaut sind, wobej diese Schachtelung 
beliebig fortgefuhrt werden kann. 

Zur erfindungsgemalien Realisierung wird die Funktion und das Verfahren der 
bekannten Ray-Tracing-Pipeline urn eine Transformations-Einheit, welche die 
Strahlen in die Objekte hinein transformiert erweitert' und diese Funktionen und 
Verfahren in eine logikbasierte Hardware umgesetzt. 

Eine zweite Ausgestaltungsform der Erfindung ermoglicht die Programmierbarkeit 
des Systems, indem erfindungsgemafc eine neuartige Prozessorarchitektur, 
bestehend aus der Kombination eines Standard Prozessorkerns mit einem, oder 
mehreren speziellen Ray-Tracing-Coprozessoren verwendet wird. 
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